John Towner Williams sinh ngày 8 tháng 2 năm 1932 tại Floral Park, New York, là con trai trong gia đình nhà Esther (nhũ danh Towner) và Johnny Williams,[7] một nhạc công bộ gõ jazz, trình diễn với Raymond Scott Quintet. Williams chia sẻ về gia đình mình, "Cha tôi là một người đàn ông xứ Maine–chúng tôi có họ hàng rất gần. Mẹ tôi đến từ Boston. Cha mẹ tôi điều hành một cửa hàng ở Bangor, Maine và bà nội tôi là một người sản xuất tủ. [...] Những người có nòi giống như thế không dễ trở nên lười biếng đâu."[8]

Năm 1948, gia đình Williams chuyển đến Los Angeles, nơi John theo học trường Trung học North Hollywood, tốt nghiệp năm 1950. Ông sau đó đến Đại học California, Los Angeles (UCLA) và học riêng với nhà soạn nhạc người Ý Mario Castelnuovo-Tedesco.[9] Williams ban đầu có theo học ở Đại học thành phố Los Angeles trong một học kỳ, nằm trong ban nhạc Studio Jazz của trường.[10] Năm 1952, Williams được chọn vào Không quân Hoa Kỳ, nơi ông soạn nhạc và chỉ huy tại Dàn nhạc Không quân Hoa Kỳ.[11]

Năm 1955, Williams chuyển đến Thành phố New York và theo học Trường Juilliard và học dương cầm với Rosina Lhévinne.[9] Trong thời gian này, ông là một nhạc công jazz tại nhiều hộp đêm trong thành phố. Sau khi dời về Los Angeles, ông trở thành một nhạc công cùng với Henry Mancini. Ông hợp tác với Mancini trong nhạc phim của Peter Gunn, với sự góp mặt của cây guitar Bob Bain, tay bass Rolly Bundock và tay trống Jack Sperling, nhiều người trong số họ xuất hiện trong loạt phim Mr. Lucky. Nổi tiếng với cái tên "Johnny" trong những năm 1950 và 1960, Williams soạn nhạc cho nhiều chương trình truyền hình và là nhà soạn nhạc cho loạt album của ca sĩ Frankie Laine.[12][13]

Williams có hai người anh em, Donald và Jerry, là những nhạc công bộ gõ tại Los Angeles. Williams kết hôn với Barbara Ruick, một diễn viên và ca sĩ người Mỹ, vào năm 1956. Họ có ba người con: Jennifer (sinh 1956), Mark Towner Williams (sinh 1958) và Joseph (sinh 1960), là ca sĩ chính của ban nhạc Toto. Họ vẫn kết hôn với nhau cho đến khi bà qua đời năm 1974. Năm 1980, Williams kết hôn với Samantha Winslow, một nhiếp ảnh gia.